60ddd5c3787bc3bfe1a4ccfe0dd00b38c4b78a23
base v8.1

 

challenge
Punctuation prediction from conversational language
submitter
Oskar Bujacz
submitted
2023-03-13 23:33:53.200995 UTC
file basename
out

test-B / 6db15b4bd0cdc1792672f8b278b246ae6b146936
Metric Score
Weighted-F1 82.86
Hyphens-F1 100.00
Comma-F1 82.44
Ellipsis-F1 59.48
Fullstop-F1 91.92
QMark-F1 80.19
Colon-F1 100.00
Excl-F1 30.77

test-A / 6b5563ff51b0c4617dd5d8b68e9b1a2fdeec6659
Metric Score
Weighted-F1 79.64
Hyphens-F1 100.00
Comma-F1 81.02
Ellipsis-F1 53.36
Fullstop-F1 91.21
QMark-F1 85.82
Colon-F1 100.00
Excl-F1 28.57

dev-0 / cb28ba03059e7de582187cc48bb88d1bfa9e7c6f
Metric Score
Weighted-F1 85.19
Hyphens-F1 100.00
Comma-F1 83.91
Ellipsis-F1 45.83
Fullstop-F1 95.32
QMark-F1 89.57
Colon-F1 100.00
Excl-F1 33.33

worst items

note: the gold standard is taken from the challenge
# input expected output actual output test-B QMark-F1
1 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Mhm:128910-128970 B-QMARK O 0.00
2 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Mhm:202080-202110 B-QMARK O 0.00
3 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Muszę:197700-197850 tylko:197910-198120 mam:198210-198300 tylko:198360-198510 możl… O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O 0.00
4 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 w:219930-219930 tej:219990-220080 ciemności:220110-220620 dopóki:220680-220950 nie… O O O O O B-QMARK O O O O O O O O O O O O 0.00
5 audio/cbiz_tc_26.wav a6c94040-593e-4280-8cbf-fb8fb1360e44 Tak:53790-53910 To:54000-54030 poproszę:54120-54480 B-QMARK O O O O O 0.00
6 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 Tylko:135840-136020 proszę:136110-136260 powiedzieć:136350-136680 Rozumiem:136830-… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O 0.00
7 audio/cbiz_tc_56.wav 1b68cc28-468b-45e7-8d07-41101491b69e Ha:154800-154800 B-QMARK O 0.00
8 audio/cbiz_tc_56.wav b1ac6642-6e1d-4b46-83b2-710dc8ad743e Czyli:90480-90600 muszę:100500-100800 jakby:100890-101190 zalogować:101250-101550 … O O O O O B-QMARK O O O O O O 0.00
9 audio/cbiz_tc_64.wav ed4ff12e-a462-4c82-a004-38ab9fe618bf Pani:167190-167370 twierdzi:167460-167670 że:167700-167730 o:167760-167760 ile:167… O O O O O O O O O B-QMARK O O O O O O O O O O 0.00
10 audio/cbiz_tc_64.wav 9e40dee7-153b-421b-ae6e-f5504115b826 Hasło:77430-77850 B-QMARK O 0.00
11 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Cztery:94770-95010 Ale:95100-95190 dlaczego:95250-95520 aż:95580-95610 tak:95700-9… O O O O O B-QMARK O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O B-QMARK O O O O O B-QMARK 50.00
12 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Jakie:145620-145800 odsetki:145860-146280 Przecież:146340-146610 ja:146670-146700 … O B-QMARK O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O B-QMARK O O O O O O O 66.67
13 audio/cbiz_tc_26.wav a6c94040-593e-4280-8cbf-fb8fb1360e44 Wie:125970-126030 pani:126120-126240 co:126330-126360 Chwileczkę:126420-126780 Nie… O O B-QMARK O O O O O O O O O O O O O O O O O O O O B-QMARK B-QMARK O O O O O O O O O O O O O O O O O 66.67
14 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 Dziękuję:44370-44700 pani:44760-44910 bardzo:44970-45300 I:45420-45510 adres:45600… O O O O O O O O O O O O B-QMARK O B-QMARK O O O O O O O O O O O O B-QMARK O O 66.67
15 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 czwartego:74130-74610 maja:74760-75030 i:75750-75750 pani:75900-76110 mówi:76350-7… O O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O O O O B-QMARK O O O O 66.67
16 audio/cbiz_tc_64.wav 9e40dee7-153b-421b-ae6e-f5504115b826 To:77970-78030 jest:78330-78630 takie:91020-91410 cyfrowe:91650-92790 tak:92910-93… O O O O B-QMARK O O B-QMARK O O O O B-QMARK O O O 66.67
17 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Kłaniam:10320-10560 się:10680-10710 Dzień:10770-10860 dobry:10920-11100 Rafał:112… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O 100.00
18 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Czterdzieści:31920-32370 siedem:32430-32670 O O O O 100.00
19 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Mhm:50580-50610 O O 100.00
20 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:52620-52710 O O 100.00
21 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Już:58290-58440 momencik:58620-59040 Siedem:60270-60480 trzy:60630-60810 zero:617… O O O O O O O O O O O O 100.00
22 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dwa:64110-64260 cztery:64290-64620 O O O O 100.00
23 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dwanaście:66390-66930 Trzysta:67980-68310 czterdzieści:68370-68820 pięć:68880-690… O O O O O O O O 100.00
24 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wie:119580-119670 pan:119700-119760 co:119790-119880 O O O O O B-QMARK 100.00
25 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Przepraszam:120660-121020 ale:121320-121410 ale:121530-121620 czy:121740-121770 j… O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
26 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:155070-155280 pana:155340-155460 im:155640-155730 szybciej:155790-156180 t… O O O O O O O O O O O O O O O O O O 100.00
27 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:194670-194940 O O 100.00
28 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:196770-196920 pana:196980-197100 a:197130-197130 co:197280-197340 powinien… O O O O O O O O O O O O O B-QMARK 100.00
29 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:198870-199020 co:199140-199170 powinienem:199260-199560 ze:199650-199680 sobą… O O O O O O O O B-QMARK O O O O O O O O B-QMARK 100.00
30 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:209400-209490 O O 100.00
31 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:231570-231720 pana:231780-231930 skąd:232050-232380 wezmę:232440-232740 te… O O O O O O B-QMARK O O O O O O B-QMARK 100.00
32 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wie:264390-264450 pan:264510-264600 co:264720-264750 ja:264960-264990 nie:265110-… O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
33 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dyktuję:297150-297540 Raf:299220-299370 Bre:299610-299610 jak:300210-300330 Rafał… O O O O O O O O O O O O O O 100.00
34 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa @interia.pl:302610-302610 O O 100.00
35 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:302670-302700 O O 100.00
36 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:302790-303390 Proszę:347100-347340 pana:347430-347610 korzystając:347640-34… O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
37 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wszystko:354000-354600 rozumiem:430170-430380 Z:430410-430770 mojej:431280-431280… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
38 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wszystko:441600-441720 jasne:482130-482430 Bardzo:482520-482730 dziękuję:483120-4… O O O O O O O O O O O O O O 100.00
39 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dziękuję:483960-484140 Do:489690-489990 widzenia:490050-490110 O O O O O O 100.00
40 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Dzień:7440-7500 dobry:7560-7740 Andrzej:7830-8040 Murawa:8130-8430 W:8460-8460 cz… O O O O O O O B-QMARK O O O O O O O B-QMARK 100.00

Compare with other submission